Microsoft otkrio što je došlo do havarije: Jedna greška bila prisutna mesecima
Dodajte Kurir u vaš Google izborMicrosoft je objavio prve rezultate istrage o velikom globalnom prekidu rada koji je 12. novembra pogodio Microsoft 365 i niz povezanih servisa. Preliminarni izveštaj pokazuje da nije postojao samo jedan uzrok, već kombinacija tri problema: skrivenog softverskog propusta, promene u raspoređivanju mrežnog saobraćaja i smanjenog kapaciteta servera. Prekid je počeo 12. novembra u 16.20 UTC, a završen je narednog dana oko 16.10 UTC, što znači da je trajao nešto manje od 24 sata.
Problemi su se prelili na kompanije, javne ustanove i korisnike koji svakodnevno zavise od Microsoftovih servisa. Među pogođenim platformama bili su Outlook i Exchange Online, kao i Teams, OneDrive i drugi delovi paketa Microsoft 365. Kompanija je u preliminarnom izveštaju navela da incident nije bio posledica sajber-napada niti problema sa veštačkom inteligencijom ili AI agentima. Umesto toga, kvar je nastao unutar infrastrukture koja povezuje korisnike sa cloud servisima.
Greška je bila skrivena od jula
Prvi problem nastao je zbog promene uvedene u Microsoftov mrežni sistem još u julu. Ažuriranje namenjeno serverima koji usmeravaju saobraćaj ka Microsoft 365 sadržalo je grešku koja je pod određenim uslovima mogla da iscrpi procesorske i memorijske resurse. Kada bi se to dogodilo, serveri bi postajali neodzivni i prestajali da prihvataju nove zahteve. Propust je mesecima ostao neotkriven, iako je promena postepeno uvedena širom sveta.
Microsoft objašnjava da uobičajena testiranja nisu otkrila problem zato što su se uglavnom oslanjala na slabije serverske konfiguracije sa manjim brojem procesorskih jezgara. Na novijem i snažnijem hardveru, koji je već radio u produkcionom okruženju, greška je mogla da izazove ozbiljnije blokade. Drugim rečima, ažuriranje je prošlo testove, ali oni nisu dovoljno verno prikazali uslove pod kojima će softver raditi u stvarnoj infrastrukturi.
Preusmeravanje saobraćaja pogoršalo kvar
Drugi problem pojavio se oko 15 sati pre početka globalnog prekida. Microsoft koristi dva nezavisna mrežna sistema kako bi, u slučaju problema sa jednim, saobraćaj mogao da pređe na drugi. U okviru redovnog rada, Teams je prebačen sa alternativnog sistema na primarni mrežni prolaz, koji podržava i Exchange Online. Takvo preusmeravanje trebalo je da poveća otpornost sistema, ali je istovremeno promenilo strukturu i povećalo količinu zahteva koje je primarni prolaz morao da obradi.
Treći faktor bio je manjak raspoloživih serverskih kapaciteta. Zbog drugog, nepovezanog problema koji se pojavio prethodnog dana, oko 14 odsto kapaciteta mrežnih servera bilo je van funkcije. Taj nedostatak sam po sebi ne bi trebalo da izazove veliki prekid, ali je ostavio manje prostora za reagovanje kada je opterećenje poraslo. Kada su se promenjeni saobraćaj, nedostajući kapacitet i skrivena softverska greška poklopili tokom perioda najveće aktivnosti u SAD, zahtevi su počeli da se gomilaju, a serveri da otkazuju.
Kvar se proširio kroz rezervne sisteme
Microsoftovi sistemi za raspoređivanje saobraćaja pokušavali su da zahteve prebace sa servera koji su prestali da odgovaraju na one koji su i dalje radili. Međutim, dodatno opterećenje izazvalo je iste probleme i na rezervnim serverima. Tako je nastao lančani efekat: svaki novi server koji bi prestao da odgovara povećavao je pritisak na preostale, a kvar se širio kroz infrastrukturu. U najgorem trenutku više od 80 odsto pogođenih mrežnih servera bilo je neodzivno.
Posebno zabrinjava to što mehanizmi koji bi trebalo da ograniče kvar na određeni region, odnosno da spreče njegovo širenje na ostatak sistema, očigledno nisu obavili svoj posao. Microsoftov preliminarni izveštaj za sada ne objašnjava zašto je ta zaštita zakazala. To je jedno od važnih otvorenih pitanja, jer regionalno razdvajanje infrastrukture postoji upravo zato da problem na jednom mestu ne bi prerastao u globalni prekid rada.
Zašto je oporavak toliko trajao
Povratak servera u rad nije bio dovoljan da se problem reši. Kada bi se ponovo pokrenuli, na njih su čekali veliki redovi zahteva, pa bi se ubrzo ponovo preopteretili i prestali da odgovaraju. Ni jednostavno vraćanje prethodne verzije softvera nije bilo moguće, jer je greška uvedena još u julu i već je bila prisutna u sistemu. Microsoftovi uobičajeni mehanizmi za povlačenje ažuriranja i vraćanje na prethodnu verziju zato nisu mogli brzo da uklone uzrok.
Inženjeri su morali da pripreme ciljanu softversku ispravku, a zatim da servere postepeno popravljaju i vraćaju u funkciju. Microsoft je naveo i da je dodao kapacitete i dodatne zaštitne mehanizme za raspodelu mrežnog saobraćaja, dok su produžena i vremena čekanja za isporuku mejlova kako odložene poruke ne bi bile vraćene pošiljaocima kao neisporučene. Kompanija je najavila da će konačni izveštaj o incidentu objaviti 20. novembra. Taj dokument trebalo bi da pruži više odgovora o neuspehu regionalne zaštite i merama koje će sprečiti ponavljanje sličnog scenarija.
Zabranjeno preuzimanje dela ili čitavog teksta i/ili foto/videa, bez navođenja i linkovanja izvora i autora, a u skladu sa odredbama WMG uslova korišćenja i Zakonom o javnom informisanju i medijima.